Новости Статьи Российское ПО VMware Veeam StarWind vStack Microsoft Citrix Symantec События Релизы Видео Контакты Авторы RSS
Виртуализация и виртуальные машины

Все самое нужное о виртуализации и облаках

Более 6500 заметок о VMware, AWS, Azure, Veeam, Kubernetes и других

VM Guru | Ссылка дня: Полный список лабораторных работ VMware Hands-on Labs

Требования StarWind Enterprise - MS iSCSI Initiator для Windows Server 2003.


Вы конечно уже слышали, что вышла новая версия StarWind Enterprise 5.5, предоставляющая еще больше возможностей для создания отказоустойчивых хранилищ iSCSI для хост-серверов виртуализации VMware vSphere / ESX (больше тут, тут и тут).

Создавать iSCSI-хранилища с помощью этого продукта вы можете на любом Windows-сервере, к которому может быть подключено локальное хранилище (свои диски или DAS), либо общее хранилище (Fibre Channel / NFS / iSCSI).

Только вот при установке StarWind Enterprise на Windows Server 2003 вы получите вот такое сообщение:

В Windows Server 2008 этот инициатор уже есть, а вот в Windows 2003 нужно установить Microsoft iSCSI Initiator для StarWind. Для этого переходим по ссылке "Microsoft iSCSI Software Initiator Version 2.08" и устанавливаем его в Windows Server 2003:

после чего перезагружаем сервер.

И да, для тех кто уже имеет инсталляцию StarWind Enterprise HA. Как обновить продукт на версию 5.5:

1. Надо устанавливать версию StarWind 5.5 прямо поверх предыдущей (при этом хранилище для виртуальных машин будет оставаться доступным и прерывания их работы не произойдет).

2. Сначала обновляем первый узел кластера StarWind Enterprise HA.

3. Затем синхронизируем ноды между собой.

4. Обновляем второй узел и снова синхронизируемся.


Таги: StarWind, iSCSI, Microsoft, Windows, ESX, VMware, vSphere, Update, Storage

PHD Virtual Backup 5.1 for Citrix XenServer - резервное копирование виртуальных машин.


Мне иногда жалко пользователей Citrx XenServer (привет, метро!) - ведь у них нет лучшего в мире средства резервного копирования виртуальных машин Veeam Backup and Replication 5 (потому что Veeam есть только для VMware).

Но даже для удрученных и грустных администраторов Citrix XenServer есть неплохое решение по резервному копированию виртуальных машин, и оно обновилось - PHD Virtual Backup 5.1 for Citrix XenServer. Ведь когда нет ноги, нужно ходить хотя бы на костылях.

Новые возможности PHD Virtual Backup 5.1 for Citrix XenServer:

  • Advanced File Level Recovery – быстрое восстановление отдельных файлов из резервной копии без необходимости восстанавливать виртуальную машину целиком
  • Flexible Backup Storage – расширенная поддержка сетевых NAS/NFS хранилищ для бэкапов
  • Application Object Recovery – восстановление отдельных объектов из резервных копий (database object, mailbox, mail message, etc.) напрямую из резервной копии
  • Support for Tape Backup Solutions – экспорт бэкапов для интеграции с решениями для записи резервных копий на ленты
  • Enhanced Retention and Archiving – политики для резервного копирования, долговременное хранение

Скачать PHD Virtual Backup 5.1 for Citrix XenServer можно по этой ссылке.


Таги: Citrix, XenServer, Backup, PhD Virtual, VMachines, Update

Как работать с esxtop в VMware vSphere / ESX.


Мы уже писали о команде esxtop для серверов VMware ESX, которая позволяет отслеживать основные параметры производительности хост-сервера и его виртуальных машин. Duncan Epping недавно добавил еще несколько интересных моментов в свое руководство по работе с утилитой esxtop, некоторые из которых мы сейчас опишем.

Итак:

1. Для того, чтобы использовать пакетный режим работы esxtop (batch mode), нужно использовать ключ -b:

esxtop -b >perf.txt

Это позволит вывести результаты команды esxtop в файл perf.txt. Для задания числа хранимых итераций используйте ключ -n (например, -n 100).

Очень удобно для сбора исторических данных производительности на хосте VMware ESX.

2. Контролируйте счетчик %SYS - он показывает загрузку системных ресурсов хоста (в процентах). Рекомендуется, чтобы он не превышал 20 для системных служб.

3. Для установки частоты обновлений результатов esxtop используйте клавишу <s>, далее задавайте интервал в секундах:

В пакетном режиме этот интервал задается ключом -d (например, -d 2).

4. Для отслеживания метрик конкретной виртуальной машины можно ограничить вывод конкретным GID. Например, чтобы посмотреть ВМ с GID 63, нажмите клавишу <l> (list) и введите этот GID:

5. Чтобы ограничить количество выводимых сущностей, используйте клавишу <#>. Например, можно сделать вывод первых 5:

И сами кнопки в режиме работающей esxtop:

c = cpu  
m = memory  
n = network  
i = interrupts  
d = disk adapter  
u = disk device (включая NFS-девайсы)  
v = disk VM  
y = power states    
V = показывать только виртуальные машины  
e = раскрыть/свернуть статистики CPU для конкретного GID  
k = убить процесс (только для службы техподдержки!)  
l = ограничить вывод конкретным GID (см. выше)  
# = ограничить число сущностей (см. выше)    
2 = подсветка строчки (двигает фокус вниз)  
8 = подсветка строчки (двигает фокус вверх)  
4 = удалить строчку из результатов вывода  
f = добавить/удалить колонки
o = изменить порядок колонок
W = сохранить сделанные изменения в файл конфигурации esxtop
? = помощь для esxtop

Таги: VMware, ESX, esxtop, Performance, Производительность, vSphere, VMachines, Troubleshooting, Blogs

Новые возможности Veeam Monitor 5.


Компания Veeam Software, ведущий поставщик решений для управления виртуальной инфраструктурой VMware vSphere, объявила о выпуске решения Veeam Monitor 5, которое позволяет осуществлять мониторинг серверов VMware ESX и виртуальных машин в реальном времени.

Для многих крупных компаний Veeam Monitor (а также коннекторы nworks к System Center Operations Manager и HP Operations Manager) стали уже стандартом управления и мониторинга виртуальной инфраструктуры VMware vSphere.

В версии Veeam Monitor 5 появились следующие новые возможности:

  • Полная совместимость с VMware vSphere 4.1, включая поддержку всех новых возможностей платформы (например, новые метрики, которые появились именно в версии 4.1 для систем хранения, NFS-томов, мониторинг путей по I/O, Lantncy и прочее, всего более 100 новых метрик).
  • Интеллектуальные возможности мониторинга. Всего в Veeam Monitor 5 есть 125 типов тревог (alarms), которые позволяют покрыть все возможные события виртуальной инфраструктуры vSphere, которые наступают, в том числе, при превышении определенных пороговых значений (treshholds). Veeam в течение нескольких лет собирала базу знаний на основе обратной связи от пользователей своих продуктов. Это позволило дать объяснение многим вещам, ежедневно происходящим в инфраструктуре виртуализации - и эта база доступна для удобного просмотра из интерфейса. Это позволяет очень быстро решать проблемы, особенно в крупных инфраструктурах.
  • Новые Dashboards. Интерфейс представлений в Veeam Monitor 5 был существенно доработан, что позволяет теперь получать больше информации из одной точки обзора для администратора или менеджера датацентра. При этом, есть возможность "проваливаться" внутрь объектов (например, кластер) для более детального исследования поведения их составляющих.
  • Monitoring of logical disk space. Теперь видно сколько свободного пространства осталось внутри гостевой ОС, что позволяет своевременно предотвращать проблемы переполнения логических дисков. Это частая проблема при большом количестве виртуальных машин.
  • Snapshot monitoring. "Забытые" снапшоты также являются частой проблемой виртуальной инфраструктуры VMware. Например, кто-то сделал снапшот перед накатыванием очередного патча на ОС, а потом забыл про него. При этом снапшот продолжает расти и болтается, создавая проблемы. Теперь можно поставить аларм на превышение заданного объема снапшота.
  • Management reports. Теперь можно по любому объекту составить отчет по различным метрикам. Например, можно посмотреть, отчет по заполнению систем хранения, чтобы обнаружить какие стораджи скоро кончатся, а какие наоборот пустуют.
  • Streamlined alarm management. Теперь появился отдельный интерфейс для работы с алармами, где их можно временно отключать, искать по условиям и много чего еще.
  • Scalability and architecture improvements. Во-первых, улучшилась интеграция с Microsoft SQL Server, а, во-вторых, теперь можно одновременно наблюдать до 200 и более хостов VMware ESX / ESXi на один сервер Veeam Monitor 5. Естественно, он 64-битный.
  • UI enhancements. Несколько улучшений графического интерфейса, например, full screen для вывода на монитор оператора.

Теперь скриншоты Veeam Monitor 5:

Скачать пробную версию Veeam Monitor 5 для VMware vSphere 4.1 можно по этой ссылке.


Таги: Veeam, Monitor, Update, Enterprise, vSphere, ESX, VMware

Требования и ограничения VMware Fault Tolerance.


Технология VMware Fault Tolerance позволяет защитить виртуальные машины с помощью кластеров непрерывной доступности, позволяющих в случае отказа хоста с основной виртуальной машиной мгновенно переключиться на ее "теневую" работющую копию на другом сервере ESX. Однако эта технология имеет существенные ограничения, приведенные ниже.
Таги: VMware, Fault Tolerance, FT, vSphere, ESX, DRS, DPM, HA, Enterprise

Компания Veeam выпустила бету Veeam Monitor 5.0.


Известный поставщик решения для управления виртуальной инфраструктурой VMware, компания Veeam, выпустила новую версию своего продукта Veeam Monitor 5.0, позволяющего осуществлять комплексный мониторинг серверов ESX/ESXi.

Новые возможности Veeam Monitor 5.0:

  • Переработанный и нереально крутой Dashboard
  • Полная поддержка VMware vSphere 4.1
  • Более 100 предопределенных пороговых значений и тревог (Alarms) с базой знаний о том, из-за чего это может быть
  • Отчеты об использовании хранилищ NFS (то, что появилось в vSphere 4.1)
  • Мониторинг путей к хранилищам и адаптеров (включая статус load balancing , ввод-вывод (I/O), задержки (latency), операции чтения-записи)
  • Мониторинг виртуальных дисков ВМ: I/O, latency, read/write
  • Информация об использовании электропитания хостов ESX/ESXi
  • Информация о технике Memory Compression

Скачать Veeam Monitor 5.0 можно по этой ссылке. Купить эту офигенную штучку для своей VMware vSphere 4.1 можно в компании VMC, золотом партнере Veeam Software.


Таги: Veeam, Monitor, VMware, vSphere, VMC, Beta, ESX, ESXi

Технический обзор возможностей VMware vSphere 4.1.


Компания VMware официально объявила о выпуске новой версии платформы виртуализации VMware vSphere 4.1 13 июля 2010 года. Это существенное обновление компонентов пакета, включая серверы виртуализации VMware ESX 4.1 и средство управления хост-серверами и виртуальными машинами VMware vCenter 4.1.


Таги: VMware, vSphere, Update, ESX, ESXi, Enterprise, vCenter, VMachines

Улучшения VMware HA в vSphere 4.0 Update 2 - Split Brain.


Как многие знают, недавно компания VMware выпустила обновление продукта VMware vSphere 4.0 Update 2. Среди прочих нововведений есть также улучшения механизма VMware HA для отказоустойчивости серверов VMware ESX. Одно из улучшений - решение проблемы Split Brain в кластере HA, которое заключалось в следующем:

Если у вас есть несколько хостов ESX, подключенных к IP-системе хранения iSCSI / NFS, а для виртуальных машин выставлено действие Leave Powered On для Isolation Responce (по умолчанию), то при отключении хоста от всех сетей (IP Storage и VM Network) процессы VMX, реализующие исполнение виртуальных машин оставались в памяти.

При этом, по истечении срока действия лочек VMware HA, остальные хост-серверы ESX запускали эти виртуальные машины. Когда соединение выпавшего хоста с сетью и хранилищем восстанавливалось - процессы продолжали жить, что приводило к так-называемому "пинг-понгу" виртуальных машин между хостами ESX и всяким глюкам.

Теперь же, начиная с VMware vSphere 4.0 Update 2 эта ситуация решается - хост ESX выключает виртуальную машину и генерирует соответствующее событие в vCenter.

Источник: yellow-bricks.com.


Таги: VMware, HA, Update, ESX, Bugs, vSphere, VMachines

Создание хранилища NFS на Windows Server 2008 R2 для VMware vSphere / ESX.


Многие пользователи, применяющие платформу виртуализации VMware vSphere в своей виртуальной инфраструктуре, ищут возможности использования недорогого хранилища для виртуальных машин. В качестве одного из вариантов, для тестового или некритичного производственного окружения, можно рассмотреть организацию NFS-хранилища на базе Windows 2008 Server R2...


Таги: VMware, ESXi, Storage, NFS, ESX, vSphere, Microsoft, Server

Документ Storage Best Practices for KVM on NetApp.


Компания NetApp продолжает выпуск своих замечательных документов по использованию хранилищ для виртуальной инфраструктуры. Теперь NetApp выпустила документ Storage Best Practices for KVM on NetApp, который будет полезен пользователям платформы Red Hat Enteprise Virtualization.

Молодцы NetApp! Роман, ждем перевода на русский язык)


Таги: Red Hat, KVM, NetApp, Storage, NFS

Бесплатная утилита VKernel StorageView для виртуальной инфраструктуры VMware vSphere.


Компания VKernel продолжает выпуск бесплатных программных продуктов для виртуализации VMware vSphere. На этот раз это утилита VKernel StorageView, которая позволяет найти "узкие" места в инфраструктуре хранения виртуальных машин. Это обычное десктоп-приложение весом в 6 МБ, которое может быть установлено на рабочей станции администратора и позволяет найти соединения хостов ESX с наибольшими задержками (latency) к томам VMFS или NFS.

Возможности VKernel StorageView:

  • Топ 5 путей хост / datastore с наибольшей latency
  • Список виртуальных машин, которые используют эти пути
  • Скорость обмена трафиком хранения для каждой ВМ в этих путях
  • Сводная статистика по остальным парам хост / datastore, не вошедшим в топ 5
  • Поддержка хранилищ NFS / iSCSI / FC

Скачать VKernel StorageView можно по этой ссылке.

 


Таги: VKernel, StorageView, Storage, Performance, Производительность, vSphere, VMFS, iSCSI, NFS, ESX

ESXTOP NFS Performance Counters



Таги:

Возможности VMware vSphere 4.0 Update 2 - обновления ESX и vCenter.


Компания VMware выпустила обновления платформы виртуализации VMware vSphere 4.0 Update 2, включающие в себя релизы:

Новые возможности платформы vSphere 4.0 Update 2:

  • Команды esxtop и resxtop теперь показывают информацию и по NAS/NFS-хранилищам
  • Поддержка технологии Fault Tolerance (FT) для процессоров Intel Xeon 3400, Xeon 5600 и i3/i5 CPU
  • Поддержка модуля IOMMU для процессоров AMD Opteron 6100 и 4100
  • Довольно сильно оптимизирована работа со снапшотами (удаление, создание)
  • Поддержка гостевой ОС Ubuntu 10.04
  • Исправлена ошибка в реализации round robin в модуле PSP
  • Исправлена ошибка при доступе по нескольким путям через software iSCSI initiator к некоторым массивам (например, CLARiiON)
  • Улучшена работа VMware HA с распределенным коммутатором dvSwitch и механизмом Fault Tolerance
  • Очень много исправлений и мелких улучшений

Сам же VMware vCenter 4.0 Update 2, кроме различных исправлений, содержит возможности конфигурации автоматизированного развертывания следующих гостевых ОС (то, что для Windows называлось Sysprep):

  • Windows XP Professional SP2 (x64) serviced by Windows Server 2003 SP2
  • SLES 10 SP3 and 11 (x32/x64 bit)
  • RHEL 4.8, 5.4 and 5.5 Server Platform (x32/x64 bit)
  • Debian 5.0, 5.0 R1 and 5.0 R2 (x32/x64 bit)

Продукт VMware vCenter Update Manager 4.0 Update 2 теперь стал быстрее и надежнее работать в низкоскоростных сетях с большими задержками (WAN).

Скачать обновление VMware vSphere 4.0 Update 2 можно по этой ссылке. Напоминаем, что уже известен список возможностей VMware vSphere 4.1, платформы, которая (вероятнее всего) будет представлена на конференции VMworld 2010 в сентябре этого года.


Таги: VMware, vSphere, Update, ESX, vCenter

Реальная проблема виртуализации - безопасность.


Из всех проблем, создаваемых технологиями виртуализации, настоящей проблемой я считаю только безопасность виртуальной инфраструктуры. Неудивительно, ведь по статистике Gartner, 60% всех развертываемых виртуальных машин к 2012 году будут менее защищенными, чем их физические "коллеги". В итоге - компании достаточно быстро внедряют технологии виртуализации, но очень мало уделяют аспектам безопасности виртуальных машин, хост-серверов и средств управления.


Таги: VMware, Security, VMachines, Enterprise, ESX, vSphere, Gartner, vCenter

Что такое и как работает Changed Block Tracking в VMware vSphere.


Компания VMware - одна из немногих, кто по-настоящему думает о том, как пользователи будут делать резервные копии своих производственных систем в виртуальных машинах. В VMware vSphere 4 появился новый механизм Changed Block Tracking (CBT), который значительно упрощает жизнь разработчикам ПО для резервного копирования виртуальных машин и значительно повышает эффективность этого процесса.

Давайте попробуем разобраться для чего нужен Changed Block Tracking в VMware vSphere. Прежде всего, напомним, что ранее решения для резервного копирования (например, лидер рынка Veeam Backup) должны были самостоятельно заботиться о том, какие блоки виртуальных дисков изменились с момента создания резервной копии, чтобы не копировать весь vmdk целиком. Это вызывало значительную нагрузку на сервер ESX версии 3.x, поскольку не было встроенного механизма отслеживания изменивашихся блоков, а разработчикам приходилось выкручиваться.

Теперь же Changed Block Tracking в VMware vSphere является частью интерфейса vStorage APIs for Data Protection (VADP), который состоит из двух компонентов VDDK (Virtual Disk Develoment Kit) и vSphere SDK (о них можно почитать в документе "Designing Backup Solutions for VMware vSphere").

Changed Block Tracking работает на уровне стека работы с хранилищами в модуле VMkernel и позволяет сторонним продуктам для резервного копирования вернуть список изменившихся блоков с момента последнего бэкапа.

CBT можно использовать для любого типа виртуальных дисков, включая тома VMFS / FS / iSCSI и NAS / NFS, за исключением томов Raw Device Mapping (RDM) в режиме физической совместимости а также дисков, привязанных к shared virtual SCSI bus. Кстати, размер блока для CBT - это не то же самое, что размер блока для тома VMFS (потому что работает на уровне отдельного vmdk).

Чтобы CBT работал для резервного копирования ваших ВМ, необходимо, чтобы они имели Virtual Hardware версии 7 и выше:

По умолчанию функции Changed Block Tracking на серверах VMware ESX отключены, это обусловлено тем, что CBT дает небольшую нагрузку на CPU сервера для решения своих задач. Однако решения для резервного копирования, в частности Veeam Backup, его включают для создания бэкапов только изменившихся блоков, что существенно (в разы!) повышает скорость создания резервных копий.

Changed Block Tracking начинает работать после включения виртуальной машины или создания мгновенного снимка (снапшота), который делает ПО для резервного копирования. На хранилище виртуальных машин появляется файл xxx-ctk.vmd фиксированного размера для каждого виртуального диска vmdk (на 10 ГБ диска приходится где-то 500 КБ ctk-файла):

В этом файле содержится список блоков, которые отслеживаются для vmdk с их актуальным состоянием с определенного момента времени, зафиксированном в ChangedId (изменились или нет). Данный подход важен не только для резервного копирования, но и для репликации виртуальных машин между хранилищами, где очень важно время синхронизации с репликой.

Напоминаем, что первым продуктом, который стал использовать технологию Changed Block Tracking в VMware vSphere был и остается Veeam Backup and Replication.


Таги: VMware, vSphere, CBT, Storage, Backup, Veeam, VMDK, iSCSI, NFS, ESX

Работа серверов виртуализации Microsoft Hyper-V R2 с дисковыми массивами NetApp.


Роман Хмелевский, автор известного блога о массивах NetApp, сообщил интересную новость - вышел перевод документа о работе серверов Hyper-V с массивами NetApp:

"Наилучшие методы использования систем хранения NetApp для решений виртуализации Microsoft Hyper-V"

Напомним, что аналогичные документы есть также и для VMware vSphere / ESX.

Документ интересный и полезный, поэтому для пользователей, планирующих внедрение Hyper-V R2 на базе массивов NetApp - просто обязателен к прочтению. Остальные документы по массивам NetApp вы можете найти здесь: http://www.netwell.ru/production/techbiblioteka.php.


Таги: Microsoft, Hyper-V, NetApp, Blogs, Storage, NFS

Подключение серверов VMware vSphere / ESX 4 к дисковым массивам по iSCSI и NFS.


Компания NetApp, как вам, наверное, известно, является одним из лидеров в производстве недорогих дисковых массивов NFS и iSCSI, которые работают в качестве хранилищ для серверов VMware vSphere / ESX 4 (а также для инсталляций VMware View 4). Если вы работаете с массивами NetApp, либо просто исследуете возможности подключения СХД к серверам ESX по NFS или iSCSI, вам могут оказаться очень полезными следующие документы:

В частности, там есть вот такие интересные картинки подключений серверов VMware ESX 4 к дисковым массивам по NFS и iSCSI с разъяснениями:

Благодаря пользователю Romx, мы имеем еще вот эти ссылки:

Пока же хочу обратить внимание, что на вебсайте NetApp есть довольно много подобных документов для разных приложений и задач.
Например:


Таги: VMware, ESX, Storage, NetApp, iSCSI, NFS, NAS, vSphere

Количество одновременных миграций VMotion для хоста VMware ESX / ESXi и хранилища NFS / VMFS.


Максимальное число VMotion на серверах VMware ESX и ESXi.

Горячая миграция VMotion в составе пакета продуктов VMware vSphere позволяет переместить виртуальную машину с одного хоста ESX на другой без прерывания работы этой ВМ. При этом, по умолчанию на хосте ESX / ESXi доступно максимум 2 одновременных миграции VMotion. В некоторых случаях, этого может оказаться мало, и можно увеличить данное количество до 6 одновременных миграций на хост.

Давайте попробуем разобраться, как VMware vCenter рассчитывает количество доступных одновременных VMotion на хосте ESX / ESXi. Во-первых, есть такой конфигурационный файл vpxd.cfg для сервера VMware vCenter, который находится в папке:

%ALLUSERPROFILE%\Application Data\VMware\VMware VirtualCenter\

Что аналогично:

C:\ProgramData\VMware\VMware VirtualCenter\ (для Windows 2008 Server)

C:\Documents and Settings\All Users\Application Data\VMware\VMware VirtualCenter\ (для Windows 2003 Server)

Открываем файл vpxd.cfg и вставляем туда следующую секцию XML между тегами <vpxd> и </vpxd>:

<ResourceManager>
<maxCostPerHost>12</maxCostPerHost>
</ResourceManager>

Итак, мы видим параметр maxCostPerHost, который определяет максимально доступную "стоимость" на хост VMware ESX. Данная стоимость вычисляется просто - VMware VMotion "стоит" 4 единицы, а "холодная миграция" (Cold Migration) дает 1 единицу. Таким образом, значение 12 позволяет использовать либо 3 одновременных VMotion, либо 2 VMotion и 4 Cold Migration в один момент времени. Все очень просто. Максимальное значение данного параметра - 24 или 6 одновременных миграций VMotion на хост VMware ESX / ESXi.

В следующей версии VMware vSphere число одновременных миграций VMotion будет увеличено до 8, и данный параметр будет включен по умолчанию.

У данных модификаций есть две стороны - с одной стороны увеличение операций VMotion на хост ESX не так уж плохо (подробнее здесь), а с другой стороны - не зря по умолчанию выставлен лимит в 2 миграции VMotion (подробнее здесь).

Максимальное число VMotion на хранилища VMFS и NFS.

Одно хранилище VMFS в VMware vSphere 4 поддерживает до 8 одновременных миграций VMotion виртуальных машин, расположенных на нем. То же касается и Storage VMotion - их также может быть 8 на одно виртуальное хранилище VMFS 3. Для NFS-хранилищ в данный момент поддерживается до 4 одновременных миграций VMotion / SVMotion на одно хранилище.

Для Storage VMotion надо помнить то, что данная операция задействует 1 доступ к исходному Datastore и 1 доступ к целевому Datastore, а на одно хранилище VMFS может быть до 8 доступов (то есть 8 миграций SVMotion с хранилища возможны только если на него ничего не перемещается в этот момент с помощью SVMotion).


Таги: VMware, ESX, VMotion, SVMotion, vSphere

Плагины для пользователей систем хранения данных EMC под VMware vSphere / vCenter.


Приятная новость для тех из вас, кто использует или планирует использовать недорогие NFS-хранилища EMC Celerra для размещения виртуальных машин VMware vSphere. Компания EMC предоставляет своим пользователям специальный плагин к VMware vCenter, который обладает поистине мощной интеграцией с инфраструктурой виртуализации сереверов ESX:

Развертывание (в том числе "тонкое") новых виртуальных хранилищ NFS, дедупликация, компрессия, клоны виртуальных машин, увеличение емкостей NFS Datastores по требованию - все это можно делать в EMC Celerra NFS vSphere Plugin, не отходя от vCenter. Большой плюс, что данный плагин от EMC является бесплатным. Ищите его на Powerlink.

Также для пользователей массивов Celerra компания EMC предоставляет бесплатно плагин Celerra VMware vCenter Site Recovery Manager Failback Plug-in v 4.0, который позволяет пользователям, которые применяют катастрофоустойчивое решение VMware Site Recovery Manager (SRM), автоматизировать процесс восстановления виртуальной инфраструктуры на основном сайте, после того как он снова становится доступен (напомним, что VMware SRM умеет делать только Failover).

Скачать Celerra VMware vCenter Site Recovery Manager Failback Plug-in v 4.0 можно с Powerlink.

Надо также напомнить, что есть бесплатный EMC Storage Viewer vCenter plugin, который тоже развивается и обрастет вскоре новыми функциями.

Эта надстройка от EMC позволяет просматривать все виртуальные хранилища, LUN и таргеты массивов из единого интерфейса VMware vCenter.


Таги: EMC, VMware, Storage, Celerra, vCenter, ESX, vStorage, NFS, SRM

Производительность протоколов систем хранения NFS, iSCSI и Fibre Channel (FC) для VMware vSphere / ESX от NetApp.


Компания NetApp выпустила Whitepaper под названием "VMware vSphere multiprotocol performance comparison using FC, iSCSI and NFS", где рассматриваются аспекты производительности указанных протоколов при использовании общих хранилищ VMware vSphere / ESX на массивах NetApp. В частности, есть вот такая картинка, говорящая о том, что, по большому счету, все более-менее одинаково:

Кому интересны комментарии самой NetApp к документу - читайте запись "New VMware and NetApp Protocol Performance Report" в блоге сотрудника компании. Результаты тестирования производительности общих хранилищ для серверов VMware ESX были одобрены компанией VMware.


Таги: NetApp, VMware, Storage, vSphere, ESX, Performance, Производительность, NFS, iSCSI, Fibre Channel

IOMEGA, дочка EMC, анонсировала технологию v.Clone на базе VMware Player.


Мы уже писали о недорогих хранилищах компании Iomega, дочерней компании корпорации EMC (как и VMware). Iomega известна тем, что выпускает NAS/NFS и iSCSI хранилища, которые можно использовать, по крайней, мере для тестовых и демонстрационных лабораторий VMware vSphere / ESX.

Теперь Iomega анонсировала очень интересную технологию v.Clone, которая позволяет пользователям иметь актуальную копию своего рабочего окружения и файлов на внешнем дисковом устройстве. По сути v.Clone делает виртуальную машину на внешнем диске (переносит физический компьютер в виртуальную среду с помощью миграции P2V), а затем запускает ее с помощью VMware Player (бесплатный продукт компании VMware).

Такой диск может использоваться и как резервная копия домашнего или рабочего ПК, и как способ синхронизации между ними, и как мобильное виртуальное окружение для работы в командировках и на чужих компьютерах. Принцип работы технологии v.Clone от Iomega представлен на следующем видео:

Программа v.Clone будет работать только для устройств Iomega, а цены и более детальную информацию обещают уже в январе. А пока вот как выглядит интерфейс программы v.Clone:


Таги: Iomega, EMC, VMware, vClone, Storage, Player, P2V, Backup

Enterprise Virtualization Hypervizor (на базе KVM) и Virtualization Manager от Red Hat.


Компания Red Hat, всемирно известный поставщик ОС Linux с одноименным названием, объявила о выпуске решения Red Hat Enterprise Virtualization for Servers, включающее в себя гипервизор на базе KVM и средство управления серверами виртуализации и виртуальными машинами.

Ранее, компания Red Hat уже объявила о выпуске ОС Enterprise Linux (RHEL) версии 5.4, которая включала в себя гипервизор KVM, для которого, однако, отсутствовали средства управления уровня предприятия. Теперь, благодаря Red Hat Enterprise Virtualization Hypervisor (REVH) и Red Hat Enterprise Virtualization Manager for Servers (REVMS), пользователи платформы виртуализации получат следующие возможности:

  • Горячая миграция виртуальных машин, расположенных на общей системе хранения NFS, iSCSI или Fibre Channel
  • Высокая доступность виртуальных машин (High Availability) - если хост-сервер выходит из строя, виртуальные машины перезапускаются на другом сервере с общего хранилища
  • Динамическое управление ресурсами виртуальных машин (виртуальные диски, сетевое взаимодействие, CPU, пулы ресурсов), а также перемещение виртуальных машин средствами Live Migration на основе политик, привязанных к ресурсам.
  • Режим обслуживания хост-сервера виртуализации (эвакуация виртуальных машин с хоста средствами Live Migration при переводе его администратором в maintenance mode).
  • Управление питанием хост-серверов по аналогии с механизмом Distributed Power Management (DPM) от VMware. При падении нагрузки виртуальные машины динамически переносятся на другие хост-серверы, а простаивающие физические серверы отключаются. При возрастании нагрузки они, соответственно, включаются и виртуальные машины возвращаются на них (технология может экономить до 50% затрат на электроснабжение серверов).
  • "Тонкие" диски виртуальных машин, растущие по мере наполнения их данными.
  • Снапшоты виртуальных машин, позволяющие сохранить состояние виртуальной машины (включая диски) и вернуться потом в это состояние.
  • Шаблоны виртуальных машин для массового развертывания новых сервисов.
  • Ролевая модель для доступа к средству управления REVMS и интеграция с Active Directory.
  • Набор API для управления REVMS

Red Hat Enterprise Virtualization Hypervisor (REVH) представляет собой несколько модифицированную версию Red Hat Enterprise Linux 5.4, заточенную под виртуализацию. Интересно то, что средство управления Red Hat Enterprise Virtualization Manager for Servers устанавливается только на ОС Windows, что нисколько не будет мешать внедрению гипервизора на предприятиях.

Интересна также таблица сравнения возможностей Red Hat Enterprise Virtualization for Servers с аналогичными решениями VMware vSphere 4 и Microsoft Hyper-V 2008 R2. Вот так вот выглядит средство управления Red Hat Enterprise Virtualization Manager for Servers, где можно делать Live Migration виртуальных машин:

REVH и REVMS продаются по цене $499 за физический CPU сервера виртуализации (процессорное гнездо). Стоимость решения Red Hat Enterprise Virtualization Hypervisor (REVH) и Red Hat Enterprise Virtualization Manager for Servers (REVMS) в сравнении с VMware и Microsoft показана в таблице ниже:

Red Hat всерьез намерен побороться с конкурентами, VMware, Microsoft и Citrix, тем более, что по оценкам Gartner к 2012 году у Red Hat будет около 2 % рынка виртуализации, что на самом деле немало.

Сами же возможности гипервизора KVM в Red Hat Enterprise Virtualization Hypervisor (REVH) таковы:

  • Поддержка Intel VT / EPT и AMD-V / RVI
  • Поддержка до 64 физических CPU хост-сервера (до 256 ядер)
  • До 1 ТБ физической RAM хост-сервера
  • До 16 виртуальных процессоров в виртуальной машине (vCPU)
  • До 64 ГБ памяти для одной виртуальной машины (vRAM)
  • Поддержка memory overcommit (технология устранения дубликатов страниц памяти - page sharing, техника Linux Kernel Same-page Merging)
  • Поддержка NIC bonding (объединение сетевых интерфейсов) и multipath I/O (доступ к SAN по нескольким путям)
  • Поддержка хранилищ NFS, iSCSI и Fibre Channel
  • Поддержка гостевых ОС RHEL (версии от 3 до 5) и Windows (2003, 2008 и XP), для Windows есть паравиртуализованные драйверы, сертифицированные по программе SVVP.

Таги: Red Hat, KVM, VMachines, VMware, Microsoft, Citrix, REVMS, REVH

Бесплатные программы для VMware ESX и ESXi - vscsiStats (производительность диска).


Компания VMware предлагает наблюдать за производительностью дисковой подсистемы средствами консольной ОС для VMware ESX с помощью команды esxtop или для ESXi командой vCLI resxtop. Однако резульаты работы этих команд не позволяют наблюдать полную картину, кроме того, они доступны только для хранилищ Fibre Channel или iSCSI, но не позволяют отслеживать производительность NFS-хранилищ.

Начиная с версии VMware ESX / ESXi 3.5 компания VMware предоставляет пользователям утилиту vscsiStats, которая позволяет наблюдать Storage Performance на уровне отдельного VMDK (или RDM тома) виртуальной машины. Вот какие счетчики доступны для vscsiStats, которые можно смотреть в виде графических гистограмм:

  • IO size
  • Seek distance
  • Outstanding IOs
  • Latency (in microseconds)
  • Что-то еще

Сейчас все это работает не только для VMware ESX 4, но и для ESXi 4 (сначала потребуется войти в Tech Support Mode). Вот какие интересные картинки производительности хранилища можно увидеть с помощью vscsiStats:


Таги: VMware, ESX, ESXi, Производительность

Новые возможности VMware Site Recovery Manager 4.0 (SRM).


Компания VMware наконец-то выпустила долгожданное средство обеспечения катастрофоустойчиовсти виртуальной инфраструктуры VMware Site Recovery Manager 4.0. Теперь этот продукт полностью поддерживает серверы ESX 4.0 из состава VMware vSphere 4. Не так давно мы уже писали о том, как развернуть тестовую инфраструктуру VMware SRM на ноутбуке, а также о том, как работает SRM и для чего он нужен. Сегодня мы расскажем о новых функциях VMware SRM 4.0, который шагнул аж через 3 версии, чтобы соответствовать версии vSphere 4.


Таги: VMware, SRM, vSphere, vCenter, ESX

Бесплатные программы для VMware vSphere / ESX часть 4.


Мы продолжаем серию публикаций о бесплатных средствах администрирования виртуальной инфраструктуры VMware vSphere / ESX. Бесспорным преимуществом VMware vSphere является то, что благодаря различным интерфейсам платформы, независимые разработчики написали множество бесплатных утилит для инфраструктуры серверов ESX, которые автоматизируют большинство ручных операций администраторов.


Таги: VMware, ESX, vSphere, ESXi, vCenter, Veeam, Xtravirt, Backup, Бесплатно

Passed VMware VCP410 Exam - стало интереснее.


Сегодня успешно сдал экзамен VMware VCP410 (по продукту VMware vSphere 4). В целом немного сложенее, чем VCP310. Несколько важных моментов, чтобы сдать:

Однако этого будет недостаточно. Чтобы сдать экзамен VCP410 вы должны...


Таги: VMware, vSphere, VCP

Команды удаленной командной строки (RCLI) и их аналоги в Service Console (CLI) в VMware vSphere / ESX 4.


Как известно, вместе с сервером виртуализации VMware ESX в составе пакета VMware vSphere идет консольная операционная система (Service Console), с помощью которой из интерфейса командной строки (Command Line Interface, CLI) можно управлять сервером виртуализации. Для бесплатного продукта VMware ESXi такой ОС не предусмотрено, поэтому им можно управлять удаленно, через, соответственно, удаленный интерфейс командной строки. Этот интерфейс называется RCLI (Remote Command Line Interface) и доступен как в виде пакета для Windows и Linux, так и в виде готовой виртуальной машины vSphere Management Assistant (vMA).

В приведенной ниже таблице указан список команд CLI для сервера VMware ESX, а также соответствующий им список команд RCLI для управления сервером VMware ESXi. Для ESX обычно импользуются команды вида esxcfg-***, для ESXi эти команды выглядят как vicfg-***. В колонке "Команда RCLI" приведены команды, которые можно выполнять из vMA для vSphere или RCLI, в колонках "Доступность в ESXi 4" и "Доступность в ESX 4" сказано, может ли команда выполняться на сервере локально. В колонке "Доступность через VC 4" сказано, может ли команда выполняться через GUI на vCenter посредством vSphere Client. Столбец "Аналог в CLI" говорит о том, какая команда используется в Service Console для выполнения данной операции.

Итак, команды CLI и RCLI для управления VMware vSphere в части сервера ESX:

Номер Команда RCLI (ESXi) Доступность в ESXi 4 Доступность в ESX 4 Доступность через VC 4 Аналог в CLI (ESX) Описание (для чего используется)
1
esxcli
да
да
нет
esxcli
Управление модулями pluggable storage architecture (PSA) & native multipathing (NMP) - доступ по нескольким путям.
2
resxtop  
да
да
да
esxtop
Производит мониторинг системных ресурсов в реальном времени в интерактивном или пакетном режимах. Поддерживается только для Linux.
3
svmotion  
нет
нет
да
Динамически переносит работающую виртуальную машину на другое хранилище за счет технологии Storage VMotion. С ключом --interactive работает в интерактивном режиме.
4
vicfg-advcfg  
да
да
да
esxcfg-advcfg  
Дополнительное управление CIM-провайдерами (ESXi) или расширенными настройками ESX / ESXi. Использовать нужно с осторожностью.
5
vicfg-cfgbackup  
да
нет
нет
esxcfg-cfgbackup  
Создает резервную копию ESXi и восстанавливает ее.
6
vicfg-dns  
да
да
да
esxcfg-dns  
Управляет конфигурацией DNS на сервере ESX / ESXi.
7
vicfg-dumppart  
да
да
да
esxcfg-dumppart  
Управляет диагностическими разделами.
8
vicfg-iscsi  
да
да
да
esxcfg-hwiscsi и esxcfg-swiscsi
Управляет хранилищем iSCSI (software и hardware).
9
vicfg-module  
да
да
да
esxcfg-module  
Управляет модулями ядра VMkernel.
10
vicfg-mpath 
да
да
да
esxcfg-mpath 
Используется для взаимодействия с дисковыми массивами и вывода информации о путях.
11
vicfg-mpath35 
нет
нет
нет
Используется для взаимодействия с дисковыми массивами хостов ESX 3.5.
12
vicfg-nas  
да
да
да
esxcfg-nas  
Управляет доступом к NFS / NAS хранилищам.
13
vicfg-nics  
да
да
да
esxcfg-nics  
Управляет физическими интерфейсами хоста ESX / ESXi.
14
vicfg-ntp  
да
да
да
esxcfg-ntp  
Настройки сервера времени по протоколу NTP.
15
vicfg-rescan  
да
да
да
esxcfg-rescan  
Сканирование массива и обнаружение новых LUN или томов VMFS.
16
vicfg-route  
да
да
да
esxcfg-route  
Управляет маршрутизацией на хосте ESX / ESXi.
17
vicfg-scsidevs  
да
да
да
esxcfg-scsidevs  
Выводит информацию о доступных устройствах и LUN. Замена команды esxcfg-vmhbadevs в ESX 3.5.
18
vicfg-snmp  
да
да
нет
esxcfg-snmp  
Управляет агентом SNMP на хосте ESX / ESXi.
19
vicfg-syslog  
да
нет
да
esxcfg-syslog  
Для хостов ESXi можно настроить удаленный Syslog-сервер и порт для соединения.
20
vicfg-user  
да
да
нет
Управляет списком локальных пользователей ESXi.
21
vicfg-vmknic  
да
да
да
esxcfg-vmknic  
Управляет виртуальными адаптерами хоста ESX / ESXi (VMkernel NICs).
22
vicfg-volume  
да
да
да
esxcfg-volume
Переподписка (resignaturing) томов VMFS, монтирование томов VMFS опознающихся как снапшоты (snapshots).
23
vicfg-vswitch  
да
да
да
esxcfg-vswitch  
Добавление, удаление и изменение настроек виртуальных коммутаторов (vSwitch)
24
vifs  
да
да
нет
Операции с файлами (получение и Upload)
25
vihostupdate 
да
да
нет
Управляет обновлениями на хосте ESXi.
26
vihostupdate35 
нет
нет
нет
Управляет обновлениями на хосте ESXi 3.5.
27
vmkfstools  
да
да
нет
vmkfstools
Управляет виртуальными дисками, файловыми системами, томами и устройствами.
28
vmware-cmd  
да
да
да
vmware-cmd
Управление состоянием ВМ удаленно (включение, выключение, снапшоты)


Таги: VMware, vSphere, CLI, RCLI, vMA, ESX, vCenter, ESXi

Обзор продукта Veeam Monitor для мониторинга серверов VMware ESX / vSphere.


Компания Veeam Software известна своими продуктами для управления и автоматизации виртуальной инфраструктуры VMware VI / vSphere. Флагманский продукт компании Veeam Backup для резервного копирования инфраструктуры виртуализации VMware vSphere уже завоевал популярность не только на Западе, но и в России (банки, телекоммуникационные компании), а вот про Veeam Monitor я хотел бы сегодня рассказать отдельно, потому как это единственное в своем роде качественное средство централизованного мониторинга хостов VMware ESX.


Таги: VMware, Veeam, Monitor, ESX, vSphere

Типы виртуальных дисков vmdk виртуальных машин на VMware vSphere / ESX 4.


Виртуальные машины на платформе VMware vSphere размещаются на хранилищах Fibre Channel, iSCSI, NAS/NFS или локальных дисках серверов ESX. Диски виртуальных машин могут располагаться на томах в файловой системе VMFS (Virtual Machine File System), NFS (Network File System) или на томах RDM (Raw Device Mapping). При этом на томах VMFS и NFS виртуальные диски машин хранятся в формате vmdk, а на томах RDM виртуальная машина хранит свои данные напрямую на LUN. Сегодня мы поговорим о том, в каких форматах могут быть виртуальные диски машин в VMware vSphere, к которым обращаются серверы VMware ESX 4...
Таги: VMware, ESX, VMFS, vSphere, vmdk, Storage, iSCSI, FC, RDM

Пользователи, роли и пермиссии VMware vSphere: выполняемые функции на серверах ESX.


На сервере VMware vCenter в новой версии VMware vSphere появились некоторые новые роли и немного изменились привилегии для старых ролей. Ниже приведем список ролей и соответствующие им привилегии в VMware vSphere.
Таги: VMware, Roles, vSphere, ESX

<<   <    1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9    >   >>
Интересное:





Зал Славы Рекламодателя
Ближайшие события в области виртуализации:

Быстрый переход:
VMware Kubernetes VMachines Enterprise Offtopic Broadcom Veeam Microsoft Cloud StarWind NAKIVO vStack Gartner Vinchin Nakivo IT-Grad Teradici VeeamON VMworld PowerCLI Citrix VSAN GDPR 5nine Hardware Nutanix vSphere RVTools Security Code Cisco vGate SDRS Parallels IaaS HP VMFS VM Guru Oracle Red Hat Azure KVM VeeamOn 1cloud DevOps Docker Storage NVIDIA Partnership Dell Virtual SAN Virtualization VMTurbo vRealize VirtualBox Symantec Softline EMC Login VSI Xen Amazon NetApp VDI Linux Hyper-V IBM Google VSI Security Windows vCenter Webinar View VKernel Events Windows 7 Caravan Apple TPS Hyper9 Nicira Blogs IDC Sun VMC Xtravirt Novell IntelVT Сравнение VirtualIron XenServer CitrixXen ESXi ESX ThinApp Books P2V VKS VCF Memory VMConAWS vSAN Private AI VMmark Operations Certification NVMe AI vDefend VCDX Explore Tanzu Workstation Update Russian Ports HCX Live Recovery CloudHealth NSX Labs Backup Chargeback Aria VCP Intel Community Ransomware Stretched Network VMUG VCPP Data Protection ONE V2V DSM DPU Omnissa EUC Avi Skyline Host Client GenAI Horizon SASE Workspace ONE Networking Tools Performance Lifecycle AWS API USB SDDC Fusion Whitepaper SD-WAN Mobile SRM ARM HCI Converter Photon OS VEBA App Volumes Workspace Imager SplinterDB DRS SAN vMotion Open Source iSCSI Partners HA Monterey RDMA vForum Learning vRNI UAG Support Log Insight AMD vCSA NSX-T Graphics HCIBench SureBackup Docs Carbon Black vCloud Обучение Web Client vExpert OpenStack UEM CPU PKS vROPs Stencils Bug VTL Forum Video Update Manager VVols DR Cache Storage DRS Visio Manager Virtual Appliance PowerShell LSFS Client Availability Datacenter Agent esxtop Book Photon Cloud Computing SSD Comparison Blast Encryption Nested XenDesktop VSA vNetwork SSO VMDK Appliance VUM HoL Automation Replication Desktop Fault Tolerance Vanguard SaaS Connector Event Free SQL Sponsorship Finance FT Containers XenApp Snapshots vGPU Auto Deploy SMB RDM Mirage XenClient MP iOS SC VMM VDP PCoIP RHEV vMA Award Licensing Logs Server Demo vCHS Calculator Бесплатно Beta Exchange MAP DaaS Hybrid Monitoring VPLEX UCS GPU SDK Poster VSPP Receiver VDI-in-a-Box Deduplication Reporter vShield ACE Go nworks iPad XCP Data Recovery Documentation Sizing Pricing VMotion Snapshot FlexPod VMsafe Enteprise Monitor vStorage Essentials Live Migration SCVMM TCO Studio AMD-V Capacity KB VirtualCenter NFS ThinPrint Tiering Upgrade VCAP Orchestrator ML Director SIOC Troubleshooting Bugs ESA Android Python Hub Guardrails CLI Driver Foundation HPC Optimization SVMotion Diagram Plugin Helpdesk VIC VDS Migration Air DPM Flex Mac SSH VAAI Heartbeat MSCS Composer
Полезные постеры:

Постер VMware vSphere PowerCLI 10

Постер VMware Cloud Foundation 4 Architecture

Постер VMware vCloud Networking

Постер VMware Cloud on AWS Logical Design Poster for Workload Mobility

Постер Azure VMware Solution Logical Design

Постер Google Cloud VMware Engine Logical Design

Постер Multi-Cloud Application Mobility

Постер VMware NSX (референсный):

Постер VMware vCloud SDK:

Постер VMware vCloud Suite:

Управление памятью в VMware vSphere 5:

Как работает кластер VMware High Availability:

Постер VMware vSphere 5.5 ESXTOP (обзорный):

 

Популярные статьи:
Как установить VMware ESXi. Инструкция по установке сервера ESXi 4 из состава vSphere.

Типы виртуальных дисков vmdk виртуальных машин на VMware vSphere / ESX 4.

Включение поддержки технологии Intel VT на ноутбуках Sony VAIO, Toshiba, Lenovo и других.

Как работают виртуальные сети VLAN на хостах VMware ESX / ESXi.

Как настроить запуск виртуальных машин VMware Workstation и Server при старте Windows

Сравнение Oracle VirtualBox и VMware Workstation.

Работа с дисками виртуальных машин VMware.

Диски RDM (Raw Device Mapping) для виртуальных машин VMware vSphere и серверов ESX.

Где скачать последнюю версию VMware Tools для виртуальных машин на VMware ESXi.

Что такое и как работает виртуальная машина Windows XP Mode в Windows 7.

Как перенести виртуальную машину VirtualBox в VMware Workstation и обратно

Подключение локальных SATA-дисков сервера VMware ESXi в качестве хранилищ RDM для виртуальных машин.

Как поднять программный iSCSI Target на Windows 2003 Server для ESX

Инфраструктура виртуальных десктопов VMware View 3 (VDI)

Как использовать возможности VMware vSphere Management Assistant (vMA).

Интервью:

Alessandro Perilli
virtualization.info
Основатель

Ратмир Тимашев
Veeam Software
Президент


Полезные ресурсы:

Последние 100 утилит VMware Labs

Новые возможности VMware vSphere 8.0 Update 1

Новые возможности VMware vSAN 8.0 Update 1

Новые документы от VMware

Новые технологии и продукты на VMware Explore 2022

Анонсы VMware весной 2021 года

Новые технологии и продукты на VMware VMworld 2021

Новые технологии и продукты на VMware VMworld 2020

Новые технологии и продукты на VMware VMworld Europe 2019

Новые технологии и продукты на VMware VMworld US 2019

Новые технологии и продукты на VMware VMworld 2019

Новые технологии и продукты на VMware VMworld 2018

Новые технологии и продукты на VMware VMworld 2017



Copyright VM Guru 2006 - 2026, Александр Самойленко. Правила перепечатки материалов.
vExpert Badge